وحصلت له كائنة قضت أن تقبض عليه الحكومة العثمانية وعلى ولده الشيخ توفيق وتنفيهما إلى جزيرة رودس . وخلاصة هذه الحادثة أن إمام مسجد الكيزواني في محلة العقبة ، ويقال له الشيخ عبد العزيز العلاني ، كان لا يقوم بأمر المسجد كما يجب ، فتحرك أهل المحلة عليه وأخذوا يسعون في رفعه من الإمامة وقطع علاقاته بوقف هذا الجامع ، فلاذ الإمام برجل كان ساكنا في هذه المحلة منفيا من قبل السلطان عبد الحميد خان اسمه رضا بك ياقولي ، فتداخل هذا بالأمر مع أهل المحلة فلم يفد شيئا ، وعزله متولي الجامع بإصرار أهل المحلة ، فعندئذ كلف رضا بك إمام المسجد أن يقيم دعوى على المتولي وأن مثله لا يعزل إلا بموجب شرعي وبعزل القاضي . وترامى الإمام علي رضا بك أن يكلم الشيخ محمد الكلّاوي المترجم حينما يزور رضا بك ، وكان صديقا له ، أن يوكل له شخصا يطمئن هو له ليدافع عن قضيته ، فدعا رضا بك للشيخ محمد الكلّاوي وللشيخ محمد البيانوني لمنزله وكلفهما مساعدة العلاني وأنه هو يقوم بما تحتاجه هذه الدعوى من نفقات المرافعة ، ووضع أهل المحلة محاميا من قبلهم ، وأخذت هذه القضية دورا مهما وتحزب للطرفين أناس ، وكان رضا بك كل يومين أو ثلاثة يستدعي المترجم لمنزله ويذاكره في هذه القضية وسير المرافعة فيها ، فيوما كان عنده فتذاكرا في الشؤون العامة ، فجرهم الحديث لأسباب قيام الأرنوؤط وقتئذ ( ورضا بك هو من عظماء الأرنؤوط ) وما يجريه الاتحاديون في الآستانة وغيرها من الخروج عن حدود الشرع وتقبلهم للمدنية الغربية بجميع حذافيرها وعملهم بقوانينها ونبذهم الشريعة الغراء بتاتا . فقال له المترجم : لو كان هؤلاء الثائرون قائمين لإعلاء كلمة اللّه وتأييد الشريعة المحمدية لكان قيامهم مشروعا ، وحيث إن قيامهم ليس لهذه الغاية فإنهم لا ينجحون ولا يتوفقون . فأجابه : إن قيامهم ليس إلا لانتهاك حرمات الشرع . وأشار عليه أن يكتب ثلاث عرائض : الأولى تتضمن أن ترك العمل بالشريعة الغراء والاستعاضة بالقوانين الأوربوية لا يجوز شرعا ، وعليه نطلب إبطال هذه القوانين والرجوع إلى ما أمر به الشرع المبين ، إذ لا يوجد شيء لا يكون قد نص عليه في الفقه الإسلامي ، وإن كنتم غير قادرين على هذا العمل فإن هناك من العلماء من يؤسس لكم قانونا على وفق الشرع ، وإن لم تعملوا به فإنا سنقاتلكم إلى النهاية . فحررت العريضة بهذا المآل ، وأرسلت مع شخص مخصوص من قبل رضا بك لتسلم